缩减每个卷积层通道数，通过知识蒸馏，对网络进行压缩，其中，教师网络为原网络，学生网络为缩减通道数之后网络。
网络介绍
网络结构：
其中计算三个损失，Intra-PT，Inter-RT与Soft Ground-Truth。
Intra-PT
h为student每层需蒸馏的特征图经过 1×1卷积层后输出。
对student与teacher feature map 做cos。
loss:
Intra-RT
计算FSP：
loss:
Soft Ground-Truth
网络总体损失：
Ablation Study
对通道数：
对中间loss:
对GT:
soft为将student密度图作为监督，hard为将GT作为监督。
结果
在ShanghaiTech数据集上结果：